Robot Exclusion Standard

For alternative betydninger, se Robot (flertydig). (Se også artikler, som begynder med Robot)

Robot Exclusion Standard, også kendt som Robots Exclusion Protocol eller robots.txt-protokol, er et værktøj til at hindre søgerobotter i at få adgang til hele eller en del af en websted, som ellers er offentligt tilgængelig. Robotter bruges ofte af søgemaskiner til at kategorisere og arkivere hjemmesider eller af webmasters til at korrekturlæse kildekode. Standarden er ikke relateret til, men kan bruges sammen med, sitemaps, en inkluderende robotstandard for hjemmesider.

Robots.txt er en fil, der bliver brugt af søgerobotter til at vise, hvad den skal/må bruge af data fra den aktuelle hjemmeside. Der er ikke nogen garanti for, at søgerobotten overholder brugen af robots.txt og dets indhold.